Baardsen bị bắt nhiều lần vì tội trộm cắp, và trở thành huyền thoại với nhiều lần vượt ngục thành công. Từ năm 1827, ông thụ án chung thân tại Nhà tù Akershus, nơi ông bắt đầu sự nghiệp văn học.[1] Những phần đầu tiên của cuốn tự truyện của ông được xuất bản từ năm 1835. Ông bị giam giữ tại Akershus trong 18 năm. Sau khi ra tù năm 1845, ông kiếm sống bằng nghề bán nhạc và bán sách, kết hôn và định cư ở Bergen.[1][3] Trong số các bài hát của ông có bài về cuộc vượt ngục của người bạn tù Ole Høiland khỏi Akershus (1839), và bài về cái chết của Høiland, "Ole Høilands Død" từ năm 1849.[1] Ông đã viết một bộ sưu tập các từ thông dụng trong một nhóm phương ngữ xã hội gọi là Fantespråk ("ngôn ngữ lãng khách"), được Eilert Sundt sử dụng trong các nghiên cứu của mình, và được xuất bản thành Vandrings- eller skøiersprog vào năm 1948.[1]